在本文中,我们调查了一种新颖挑战的任务,即具有示例句子的可控视频标题。正式地,给定视频和语法有效的示例句子,任务旨在生成一个不仅要描述视频的语义内容的一个标题,而且还遵循给定的示例句子的句法形式。为了解决基于示例的视频标题任务,我们提出了一种新的语法调制的标题生成器(SMCG),其结合在编码器 - 解码器 - 重构架构中。所提出的SMCG将视频语义表示作为输入,并且有条件地对给定示例句子的编码句法信息进行了可靠地调制长短期存储器网络的栅极和小区。因此,SMCG能够控制各种文字预测并实现语法自定义的标题生成。我们通过收集两个公共视频字幕数据集来进行辅助示例性句子进行实验。广泛的实验结果表明了我们对生成语法可控和语义保存视频字幕的方法的有效性。通过提供不同的示例性句子,我们的方法能够产生具有各种句法结构的不同标题,从而指示加强视频标题的分集的有希望的方式。
translated by 谷歌翻译